3.2.1. 다양한 데이터셋에 대한 style-GAN의 범용성 확인

본 실험에서는 논문의 결과와 같은 FFHQ 데이터셋에 대해서는 생성된 이미지를 4장, 나머지 데이터셋들에 대해서는 완전 무작위로 8장의 결과를 뽑아 살펴보았다.

1. FFHQ

<그림7: FFHQ 데이터셋으로 학습이 완료된 모델에 대한 이미지 생성 결과물>

기존 논문에서도 확인할 수 있듯이, FFHQ 데이터셋으로 잘 학습된 네트워크는 실제 사람 같은 이미지를 잘 생성함을 확인할 수 있었다.

2. CelebA-HQ

CelebA-HQ는 1024×1024 해상도의 유명인사로 이루어진 30,000장의 데이터셋이다. CelebA-HQ로 학습이 끝까지 완료된 네트워크로 생성한 이미지의 결과는 아래와 같았다.

<그림8: CelebA-HQ 데이터셋으로 학습이 완료된 모델에 대한 이미지 생성 결과물>

일부 어색한 사진이 섞여 있었지만, 전체적으로 유명인사들의 화장법이나 머리스타일과 같은 특징들을 잘 반영하여 이미지가 생성이 된 모습을 확인할 수 있었다. 이미지 데이터의 개수가 30,000개로 FFHQ 데이터셋보다 작기 때문에 같은 해상도일지라도 세세한 디테일들을 나타내는 데는 상대적으로 낮은 성능을 보였다.

3. LSUN Cat

256×256 해상도의 고양이 1,657,266 장으로 이루어진 LSUN cat dataset을 통해 학습을 완료한 네트워크를 통해 생성된 이미지의 결과물을 아래와 같았다.

<그림9: LSUN Cat 데이터셋으로 학습이 완료된 모델에 대한 이미지 생성 결과물>

데이터의 개수가 굉장히 많음에도 불구하고, 학습이 사람의 얼굴에 비해 잘 되지 않은 것을 확인할 수 있었다. 대부분의 생성된 사진들이 고양이의 형체가 어색하거나, 몸의 일부분이 제대로 형성이 되지 않았거나, 개수가 실제보다 더 많거나 심지어는 고양이의 형체가 아예 있지도 않은 결과를 보였다. 이를 통해서, 학습 시에 특징을 잘 학습할 수 있도록 같은 구도로 사람의 얼굴이 꽉 차게 고해상도로 존재했던 데이터셋이 아니라, 배경이 많이 포함되고 고양이가 이미지 내에 무작위한 크기로 무작위한 위치에 존재하는 경우에는 고양이의 특징을 제대로 잡아내지 못하고, 학습이 제대로 이루어지지 않는다는 것을 알 수 있었다. 이는 style-GAN 이미지 생성 모델의 한계로 생각할 수 있다.

4. LSUN Car

마찬가지로 LSUN 데이터셋 중, 자동차 이미지를 제공하는 데이터셋이다. 512×384 해상도의 자동차 이미지 5,520,756 장으로 이루어져 있다. 이 데이터셋에 대해서 학습을 완전히 완료한 네트워크의 이미지 생성 결과는 아래와 같았다.

<그림10: LSUN Car 데이터셋으로 학습이 완료된 모델에 대한 이미지 생성 결과물>

LSUN Cat 데이터셋과 마찬가지로, 굉장히 많은 수의 데이터를 가지고 있다. 또한, 자동차 사진들은 대부분 한정된 구도에서 자동차의 특징이 잘 드러나는 사진들이기 때문에, 학습이 잘 이루어진 것을 확인할 수 있다. 이는 LSUN Cat 데이터셋과 대비되는데, 학습에 사용되는 사진 데이터셋이 공통적인 특징을 잘 나타낼 수 있는지 여부에 따라 학습 결과에 큰 차이가 나타남을 확인해 볼 수 있다.

5. FFHQ(제한된 환경-학습 길이, GPU 메모리)

논문에서 사용한 데이터셋과 같은, 70,000장의 1024×1024 고해상도의 사람 얼굴 이미지 데이터셋은 FFHQ로 실험 환경에서 약 1주일 간 학습을 진행한 결과는 다음과 같았다.

<그림11: FFHQ 데이터셋으로 kimg=10526까지 학습된 모델에 대한 이미지 생성 결과물>

논문과 동일한 데이터셋을 활용하여 현재 실험 환경에서 학습의 길이를 나타내는 kimg(default:25000)가 10526가 될 때 까지 학습을 진행하였는데 이는 약 40%정도 학습이 완료되었다고 할 수 있다. 결과적으로 256×256 해상도의 이미지를 생성할 수 있는 네트워크까지 학습이 되었고, 아직 눈동자의 처리가 어색하거나, 일그러지는 등의 어색한 사진이 부분도 있지만, 이 정도 학습이 되어도 실제 사람처럼 보이는 이미지를 생성하는 경우가 많았다. kimg가 5306으로 더 학습 시간이 짧았을 때의 결과는 아래와 같았다.

<그림12: FFHQ 데이터셋으로 kimg=5306까지 학습된 모델에 대한 이미지 생성 결과물>

결과물을 살펴보면, 역시 256×256 해상도의 이미지이지만, 아직 학습이 많이 진행되지 않아 위의 결과보다 일그러지거나 자연스럽지 못한 부분이 많음을 확인할 수 있다.

6. FFHQ 흑인 레이블링 데이터셋(제한된 환경-학습 길이, GPU 메모리)

본 데이터셋은 FFHQ 데이터셋에서 흑인들만을 직접 레이블링하여 얻은 1300장의 이미지로 이루어진 데이터셋이다. 이 데이터셋으로, 학습 길이, 데이터의 개수, GPU 메모리 등이 제한된 환경에서는 어떤 결과를 보이는지 확인하기 위하여 본 실험 환경에서 kimg가 5726까지 학습된 결과를 확인하였다. 이는 약 20% 정도 학습이 되었다고 볼 수 있고, 그 결과는 아래와 같았다.

<그림12: 흑인 데이터셋으로 kimg=5726까지 학습된 모델에 대한 이미지 생성 결과물>

본 모델은 해상도가 512×512에서 학습되고 있는 시점에 중단된 결과이다. 비슷한 환경에서 실험을 진행한 실험 7)을 살펴보자.

7. FFHQ 아이 레이블링 데이터셋(제한된 환경-학습 길이, GPU 메모리)

위의 흑인 데이터셋과 마찬가지로, FFHQ에서 레이블링을 통해 3,155장의 아이 사진을 데이터셋으로 구성하였고, 본 연구 환경에서 kimg=4705까지 학습을 진행했다. 결과는 아래와 같았다.

<그림12: 아이 데이터셋으로 kimg=4705까지 학습된 모델에 대한 이미지 생성 결과물>

실험6)보다 이미지 데이터가 약 2배 이상 많았지만, 전체적인 결과 수준은 비슷했다. 실험6)과 실험7)의 결과를 256×256 해상도를 가지는 5) 실험과 비교해보자면, 512×512 해상도임에도 불구하고, 실험 5)의 결과보다 훨씬 해상도가 좋지 않아 보인다. 즉, style-GAN이 4×4에서 1024×1024 해상도까지 단계적으로 학습되는 과정에서 데이터셋의 개수가 적으면 해상도와 무관하게 결과가 많이 일그러지고 이미지에서 경계가 불분명해 좋지 않은 결과를 보임을 확인할 수 있었다.

3.2.2. 하나의 모델로부터 Style Mixing 시에 Latent Vector의 조합에 따른 결과

기존 style GAN 논문에서는 앞서 설명한 style vector가 들어가는 위치를 4×4 해상도에서부터 1024×1024 해상도 순서로 0, 1, 2, …, 16, 17이라고 할 때, 0~3에 들어가는 4개 style vector를 coarse style, 4~7의 4개를 middle style, 8~17의 10개를 fine style이라고 설명하며, 3가지의 조합을 제안하고 있다. 본 연구에서는 이러한 조합에 따른 각각의 결과와, 기존 논문에서 제안한 조합 이외에도 다양한 조합과 이에 따른 결과를 분석했다 또한, FFHQ 데이터셋 이외에 다른 데이터셋에서는 어떠한 방식으로 스타일 결합이 이루어지는지 확인했다.

하나의 모델로 style mixing의 합성 과정이 일어나기 전에 두 개의 latent vector w에 대해서 각각 하나의 데이터셋으로 학습된 동일한 mapping network와 affine 변환을 거쳐 style vector A로 만든다. 이 때 벡터 중 기본적인 골격을 이룰 벡터를 destination vector, 스타일을 추가하여 입힐 벡터를 source vector라고 한다. 스타일 벡터를 각 synthesis 네트워크에 순서대로 넣어주기 위해서 destination vector를 1024×1024 해상도를 기준으로 18개의 행으로 복제하여 행렬으로 만든다. 그 뒤에, source vector 행을 설정한 위치들에 기존 destination vector를 대체하여 넣어 준 뒤 synthesis network를 이 순서대로 vector들을 넣어주며 연산한다. 즉, source vector를 하나도 넣지 않으면, destination vector를 기반으로 이미지가 합성되는 것과 같고 0부터 17까지 source vector로 모두 대체하여 넣어주면 source vector를 기반으로 이미지가 합성되는 것과 같은 것이다. 각 데이터셋에 대한 결과와 분석은 다음과 같다.

1. FFHQ

논문에서 사용된 FFHQ 데이터셋이 완전히 잘 학습된 네트워크에 대해서, 스타일 벡터를 다양한 순서로 넣었을 때의 결과는 아래와 같다.

<그림 13: FFHQ Dataset에 대한 Style Mixing 결과물 1>

<그림 14: FFHQ Dataset에 대한 Style Mixing 결과물 2>

논문에서 언급한대로, 0부터 3까지인 coarse style에 source vector를 넣어주는 경우, 4부터 7까지인 middle style에 source vector를 넣어주는 경우, 그리고 8부터 17까지인 fine style에 source vector를 넣어주는 경우를 살펴보았다. 이에 더해 본 논문에서 제안하는 세 가지 경우를 더 추가하였다. 첫 번째는 18개의 벡터 중 중간에 해당하는 4~12까지에 source vector를 넣어주는 경우, 두 번째는 짝수 부분에 source vector를 넣어주는 경우, 마지막으로는 홀수 부분에 source vector를 넣어주는 경우이다. 왼쪽과 오른쪽 사진은 서로 destination vector와 source vector를 바꿔준 경우이다.

전체적으로 살펴보았을 때, vector의 위치에 따라 모든 경우에 성립하는 규칙성이 있다고 보기는 어렵다. 하지만, 대체적으로 경향성은 보였다. 예를 들어, 0부터 3까지의 위치에 source vector가 들어갈 경우 전체적인 얼굴형, 구도, 표정 등을 결정했다. 8부터 18까지의 위치에 들어가는 sine style은 작은 특징들에만 영향을 준다. 이 때 특히 피부색과 배경이 결정되는 것이 두드러진다. 이외에도 본 논문에서 제안하는 4~12까지의 9개를 source vector로 바꿀 경우 source vector와 destination vector가 적절히 섞였다기 보다는, 대체로 destination vector들을 기반으로 하되 일부 특징들만 source vector로 쏠린 것과 같은 결과를 낸다. 예를 들어, <그림 12>의 왼쪽과 <그림 13>의 오른쪽 결과를 살펴보면, source vector의 위치가 4~12일 때, 얼굴 생김새는 0,1,2 위치에 들어간 destination vector와 많이 유사하다. 하지만, 피부색, 머리 질감, 머리 모양 등은 source vector의 것을 가진 모습을 볼 수 있다.

가장 유의미했던 것은 바로 벡터를 번갈아서 넣는 두 가지 경우였다. 기존 논문에서 제안한 결과들과는 다르게, 두 경우에서 모두 모든 특징이 적절히 섞인 결과물이 나타남을 확인할 수 있었다. 즉, 얼굴은 source vector, 피부색은 destination vector 등과 같이 특징이 한 쪽으로 치우쳐져서 결정되는 것이 아닌, 모든 특징들이 적절히 섞여 중간 정도의 모습을 나타냈다. 이처럼 두 스타일을 중간 지점으로 합치고 싶을 때, 본 연구에서 제안하는 방법을 사용하면 적절할 것으로 판단된다.

2. CelebA-HQ

CelebA-HQ 데이터셋에 대한 결과는 다음과 같다.

<그림 15: CelebA-HQ Dataset에 대한 Stlye Mixing 결과물 1>

<그림 16: CelebA-HQ Dataset에 대한 Stlye Mixing 결과물 2>

CelebA-HQ 데이터셋도 마찬가지로 기존 논문에서 제안한 방식은 특징들이 한 쪽으로 치우쳐져 있는 반면에, 본 논문에서 제안하는 방식은 각 특징들이 중간 수준에서 적절히 이루어짐을 확인할 수 있었다.

기본적으로 많은 양의 고화질 데이터셋으로 잘 학습된 FFHQ와 CelebA-HQ 모두 사실과 같은 이미지를 잘 생성해내고, style-mixing 과정을 거친 결과 또한 여전히 사실과 같이 잘 생성하고 있음을 확인할 수 있었다. 이후에는, 고양이나 자동차와 같은 다른 데이터셋에서도 이러한 결과가 잘 나타나는지 확인해보았다.

3. LSUN Cat

고양이 데이터셋과 같은 경우에는, 기본적으로 이미지를 생성할 때, 고양이의 형체를 가지는 사실적인 고양이를 생성해내는 경우가 거의 없기 때문에 특징이 어떠한 방식으로 합성이 되는지 분석하는 것이 무의미했다. 그럼에도 결과를 일부 첨부하였다.

<그림 17: LSUN Cat Dataset에 대한 Style Mixing 결과물 1>

<그림 18: LSUN Cat Dataset에 대한 Style Mixing 결과물 2>

고양이 같은 경우에는 256×256 해상도까지 학습이 되었기 때문에, synthesis network가 총 7단계로 구성되어, 스타일 벡터가 18번이 아닌 14번만 들어가게 된다. 그렇기 때문에 들어가는 벡터 위치를 위와 같이 조정해주었다. 결과를 살펴보면 전체적으로 고양이 같지 않은 결과를 보이는 경우가 많았다. 그렇기 때문에 특징도 구별하기 어려웠지만, 전체적인 이미지의 구도나 고양이의 자세와 같은 것들은 초반의 style vector들에 의해 결정되고, 고양이의 색, 무늬와 같은 특징들은 후반부의 style vector들에 의해 결정되는 경향이 있었다.

4. LSUN Car

자동차 데이터셋에 대해서는 앞서도 살펴봤듯이 유의미한 결과를 생성해냈다. 그리고 style mixing 또한 유의미하게 이루어지고 있다는 것을 확인했다. 즉, 네트워크가 잘 학습될 경우에는 style mixing에서도 이미지 생성과 마찬가지로 비례하여 좋은 성능을 나타낸다. 자동차 데이터셋 또한 512x384 해상도의 이미지를 생성하는 네트워크이기 때문에 스타일 벡터가 18번이 아니라 16번 들어가게 된다. 이에 따라 style vector가 들어가는 조합을 조정하였다. 결과는 아래와 같았다.

<그림 19: LSUN Car Dataset에 대한 Style Mixing 결과물 1>

자동차 데이터셋에 대해서도 FFHQ와 CelebA-HQ 데이터셋처럼, 본 연구에서 제안한 방식으로 했을 때 하나의 자동차 특징으로 치우치기 보다는 중간 정도의 결과를 보여 유의미함을 확인할 수 있었다.

제한된 환경의 데이터 결과에 대해서는 vector의 위치에 따른 특징들이 앞서 보았던 것과 비슷한 결과를 보였으나, 학습이 완료되지 않아 네트워크의 성능이 떨어지기 때문에 style-mixing의 성능 또한 떨어졌다. 따라서 특징의 분석이 무의미하다고 판단되어 간단히 결과만 첨부하였다.

5. FFHQ(제한된 환경-학습 길이, GPU 메모리)

<그림 20: FFHQ Dataset으로 제한된 학습환경에서 학습된 네트워크에 대한 Style Mixing 결과물>

6. FFHQ 흑인 레이블링 데이터셋(제한된 환경-학습 길이, GPU 메모리)

<그림 21: FFHQ 흑인 Dataset으로 제한된 학습환경에서 학습된 네트워크에 대한 Style Mixing 결과물>

7. FFHQ 아이 레이블링 데이터셋(제한된 환경-학습 길이, GPU 메모리)

<그림 22: FFHQ 아이 Dataset으로 제한된 학습환경에서 학습된 네트워크에 대한 Style Mixing 결과물>

3.2.3. 서로 다른 데이터셋으로 학습된 mapping network를 거친 latent vector들을 destination vector가 거친 네트워크의 synthesis network에서 합성

일반적으로 시드에 맞게 정규분포로 샘플링된 둘 이상의 latent vector z들을 하나의 데이터셋으로부터 학습된 mapping network와 synthesis network를 지나 합성이 이루어진다. 하지만 본 실험에서는, 두 개의 서로 다른 데이터셋으로부터 학습된 mapping network를 거쳐 destination vector의 네트워크를 기준으로 하나의 synthesis network에서 이미지를 합성해보는 시도를 해보았다. 이 실험을 통해 latent vector가 synthesis network가 학습된 데이터셋과 다른 데이터셋으로 학습된 mapping network를 지났을 때의 성능을 분석해보고, mapping network가 갖는 의의에 대해 연구했다. mapping network가 갖는 의의를 온전히 파악하기 위해서 본 연구에서는 제한된 학습 환경에서 학습된 모델이 아닌, 안정적으로 완전히 학습이 완료된 네트워크만 활용하여 실험을 진행하였다.

FFHQ + CelebA-HQ

이 연구는 FFHQ 데이터셋으로 학습된 mapping network를 지난 latent vector를 destination vector, CelebA-HQ 데이터셋으로 학습된 mapping network를 지난 style vector를 source vector로 선정했다. 그리고 두 style vector들은 FFHQ 데이터셋으로 학습된 네트워크의 synthesis network에서 진행하였다. 이에 대한 결과를 하나씩 살펴보자.

<그림 23: CelebA-HQ Dataset의 Mapping Network를 지난 Style Vector를 FFHQ Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물>

이 결과는 <그림14>에서 학습을 진행한 시드와 같은 시드로 본 실험을 진행했을 때의 결과이다. 우선, source vector는 시드로부터 나온 latent vector z를 CelebA-HQ 데이터셋으로 학습된 mapping network를 지나 latent vector w로 만들었다. 각 그림에서 0~17 & source networks’ mapping network에 해당하는 사진은 이를 synthesis Network 또한 CelebA-HQ로 학습된 네트워크를 지나게 했을 때의 결과이다. latent vector z를 모두 CelebA-HQ의 데이터셋으로 학습된 네트워크를 지나게 했을 때는 금발의 여성이 결과물로 나오는 것을 알 수 있다. 하지만, 똑같은 latent vector w를 source vector로서 FFHQ 데이터셋으로 학습된 synthesis network를 지나게 하면 전혀 다른 남성(Source vector의 위치:0~17)이 나오는 것을 확인할 수 있다. 이 때 살펴볼 점은, 이 결과 또한 실제 사람과 같은 모습을 잘 띄고 있어 다른 데이터셋을 통해 학습된 다른 mapping network를 거친 뒤에 synthesis network에 활용될지라도 entanglement 문제를 해결하는 데 효과가 있었다는 것을 확인할 수 있다.

이외에 서로 다른 mapping network를 지난다고 해도 앞선 연구에서 살펴본 것 처럼 source vector의 위치에 따른 결과는 비슷한 양상을 보였다. 본 연구에서 제안하는 vector의 조합이 두 스타일의 중간 지점의 특징들을 잘 반영한 것을 볼 수 있다. 물론 본 연구에서 source vector가 합성되는 스타일은 destination vector의 synthesis network를 지난 결과물일 것이다(이 예시에서는 source vector가 0~17 위치에 들어가 결과물로 나온, CelebA-HQ의 mapping network를 거친 뒤 FFHQ의 synthesis를 거쳐 생성된 남성(왼쪽)과 어린 아이(오른쪽) 이미지).

1. CelebA-HQ + FFHQ

비슷한 결과가 나타나는지, 같은 데이터셋 조합에 대해서 destination vector와 source vector를 바꾸어 실험을 진행해보았다. 결과는 아래와 같았다.

<그림 24: FFHQ Dataset의 Mapping Network를 지난 Style Vector를 CelebA-HQ Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물1>

<그림 25: FFHQ Dataset의 Mapping Network를 지난 Style Vector를 CelebA-HQ Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물2>

결과는 마찬가지로, 다른 mapping network를 거치더라도 wrapping이나 entanglement 문제가 발생하여 어색한 결과물을 보이지 않고, 전체적으로 특징이 잘 구분되어 이미지가 실제있는 것과 같은 좋은 성능을 보였다.

2. FFHQ + LSUN Cat

FFHQ 데이터셋과 CelebA-HQ는 서로 전혀 다른 데이터셋이지만, 전체적인 사진 구도나 특징이 비슷하기 때문에 서로 다른 mapping network를 사용하더라도 성능이 저하되지 않는 모습을 보일 수 있다고 생각했다. 이에 고양이 데이터셋으로 학습된 mapping network를 지난 style vector를 source vector로서 FFHQ 데이터셋를 통해 학습된 synthesis network를 통해 합성을 진행해보았다. 이 때, 고양이 데이터셋으로 생성하는 이미지는 해상도가 256×256으로 style vector가 14개면 생성할 수 있지만, 합성되는 네트워크는 이미지 해상도가 1024×1024로 style vector가 18개 필요하기 때문에 고양이 이미지를 생성한 뒤에, source vector 행렬의 행 수를 14개에서 18개로 늘려주는 과정을 통해서 합성을 진행했다. 결과는 흥미로웠다.

<그림 26: LSUN Cat Dataset의 Mapping Network를 지난 Style Vector를 FFHQ Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물1>

<그림 27: LSUN Cat Dataset의 Mapping Network를 지난 Style Vector를 FFHQ Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물2>

FFHQ 데이터셋과 CelebA-HQ 데이터셋에서는 서로 다른 mapping network를 사용해도 성능이 거의 떨어지지 않았던 것과는 달리, 고양이 데이터셋을 통해 학습된 mapping network를 통해 연산된 style vector를 활용하여 FFHQ synthesis network에서 합성 시에는 성능이 눈에 띄게 떨어졌다. 눈동자가 부자연스럽거나, 얼굴형의 윤곽이 제대로 두드러지지 않는다든가 하는 성능 하락이 있었다. 이는, 인간으로서 비슷한 특징을 가지고 있는 FFHQ 데이터셋과 CelebA-HQ 데이터셋에 대해서는 상호 간에 mapping ntwork가 잘 작동했지만, 전혀 다른 특징들을 가지고 있는 고양이 데이터셋에 대해서는 그렇지 못하다는 결론을 도출해 낼 수 있다. 즉, 기존 style-GAN 논문에서 설명하듯 mapping network가 entanglement와 wrapping 문제를 해결하는 데 충분히 기여를 한다고 볼 수 있는 것이다.

3. LSUN Cars + LSUN Cats

이 가설이 맞는지 확인해보기 위해, 자동차 데이터셋에 대해서도 실험을 진행해보았다.

<그림 28: LSUN Cat Dataset의 Mapping Network를 지난 Style Vector를 LSUN Car Dataset로 학습된 네트워크에 추가하여 Style Mixing을 진행한 결과물>

아무래도 무작위성을 띄다 보니 운이 좋게 생성과 mixing이 잘 일어난 경우도 있었지만, 대체로 고양이 데이터셋을 통해 학습된 mapping network를 지난 경우에는 대체로 좋지 못한 성능을 보이는 경향성을 그대로 보였다.